贝叶斯网络是一组$ N $随机变量的定向非循环图(DAG)(用顶点标识);贝叶斯网络分布(BND)是RV的概率分布,即在图中是马尔可夫的。这种模型的有限混合物是在较大的图表上对这些变量的投影,其具有额外的“隐藏”(或“隐藏”(或“潜伏”)随机变量$ U $,范围在$ \ {1,\ ldots,k \ $,以及从$ U $到其他每个其他顶点的指示边。这种类型的模型是对因因果推理的基础,其中$ U $模型是一种混杂效果。一个非常特殊的案例一直是在理论文学中的长期兴趣:空图。这种分布只是$ k $产品分布的混合。考虑到k $产品分布的混合物的联合分布,以识别产物分布及其混合重量,这一直是长期的问题。我们的结果是:(1)我们改善了从$ \ exp(o(k ^ 2))$到$ \ exp(o(k \ log k)的$ k $产品分布的混合物的示例复杂性(和运行时) )$。鉴于已知的$ \ exp(\ omega(k))$下限,这几乎可以最好。 (2)我们为非空图表提供了第一算法。最大程度为$ \ delta $的图表的复杂性为$ \ exp(o(k(\ delta ^ 2 + \ log k)))$。 (上述复杂性是近似和抑制辅助参数的依赖性。)
translated by 谷歌翻译
模型压缩是在功率和内存受限资源上部署深神网络(DNN)的必要技术。但是,现有的模型压缩方法通常依赖于人类的专业知识,并专注于参数的本地重要性,而忽略了DNN中丰富的拓扑信息。在本文中,我们提出了一种基于图神经网络(GNNS)的新型多阶段嵌入技术,以识别DNN拓扑并使用增强学习(RL)以找到合适的压缩策略。我们执行了资源约束(即失败)通道修剪,并将我们的方法与最先进的模型压缩方法进行了比较。我们评估了从典型到移动友好网络的各种模型的方法,例如Resnet家族,VGG-16,Mobilenet-V1/V2和Shufflenet。结果表明,我们的方法可以通过最低的微调成本实现更高的压缩比,但产生了出色和竞争性的表现。
translated by 谷歌翻译
模型压缩旨在将深神经网络(DNN)部署在具有有限的计算和存储资源的移动设备上。但是,大多数现有模型压缩方法依赖于手动定义的规则,这些规则需要域专业知识。 DNN基本上是计算图形,其包含丰富的结构信息。在本文中,我们的目标是从DNNS结构信息找到合适的压缩策略。我们提出了一种自动图形编码器 - 解码器模型压缩(AGMC)方法与图形神经网络(GNN)和加强学习(RL)结合。我们将目标DNN模拟为图形并使用GNN自动学习DNN的嵌入物。我们将我们的方法与基于规则的DNN嵌入模型压缩方法进行了比较,以显示我们方法的有效性。结果表明,基于学习的DNN嵌入实现了更好的性能和更高的搜索步骤的压缩比。我们在过度参数化和移动友好的DNN上进行了评估方法,并将我们的方法与基于手工和学习的模型压缩方法进行了比较。在参数化DNN(如Resnet-56)上,我们的方法分别优于3.36 \%$ 4.36 \%$ 4.36 \%$ 4.36 \%$ 2.56 \%$ 2.56 \%的准确性。此外,在MobileNet-V2上,我们达到了比最先进的方法更高的压缩比,只需0.93±%$精度损失。
translated by 谷歌翻译